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Предложен алгоритм оценки компетентности студентов, основанный на модели нечеткого оценивания, а также представлено 
описание программного комплекса для решения задач оценки компетентности студентов. Особое внимание уделено вопросам 
разработки алгоритмов оценки компонент компетентности на основе экспертного оценивания и тестовых технологий. 


Введение 

На данном этапе развития технического образо- 
вания на смену категории «профессионализм», как 
главной производственной ценности, приходит кате- 
гория «компетентность». Анализ литературы по про- 
блеме исследования компетентности показал, что 
пока не выработано единого мнения о компонентах и 
методах оценки компетентности. Учитывая специ- 
фику понятия «компетентность студента» и взгляды 
отечественных и зарубежных исследователей, автора- 
ми предложена структурная модель, на основе кото- 
рой разработано алгоритмическое и программное 
обеспечение для оценки компетентности. Статья яв- 
ляется продолжением цикла работ [1-4], посвящен- 
ных проблеме разработки методов измерения и оцен- 
ки компетентности студентов технического вуза. 

В более развернутом виде цели образования бы- 
ли определены Советом Европы как восемь групп 
ключевых компетенций, которым вуз должен нау- 
чить студентов [5]: 

• коммуникация на родном языке; 

• коммуникация на иностранном языке; 

• математические навыки, базовые навыки в 
естественных науках и технике; 

• навыки в области информационно-коммуника- 
ционных технологий; 

• навыки непрерывного обучения; 


• навыки межличностного общения и правовая 

компетенция; 

• предпринимательские способности; 

• культурная компетенция. 

Ориентированное на компетенции образование 
(образование, основанное на компетенциях: сот- 
реІепсІ-Ъа$есІ есіисаііоп - СВЕ) формировалось в 
США в общем контексте предложенного Н. Хом- 
ским в 1965 г. понятия «компетенция», т. е. уже в 
60-х годах XX в. было заложено понимание разли- 
чий между понятиями «компетенция» и «компе- 
тентность», где последнее трактуется как основы- 
вающийся на знаниях, интеллектуально и личност- 
но обусловленный опыт социально-профессио- 
нальной жизнедеятельности человека [5]. 

На сегодняшний день не разработан эффектив- 
ный инструментарий для оценки и мониторинга 
развития компетентности студента. Это связано с 
тем, что непосредственно измерить уровень компе- 
тентности затруднительно, поэтому вместо измере- 
ния лучше вести речь об оценке либо о вычислении 
показателей компетентности с использованием 
косвенных показателей. На основе анализа литера- 
турных источников и результатов собственных экс- 
периментальных исследований [1-6] нами были 
определены методы и методики измерения компо- 
нент компетентности и построена структурная мо- 
дель компетентности студентов, рис. 1. 
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Рис. 1 . Структурная модель формирования компетентности студентов 


Следует отметить, что в структуре социальной 
компетентности в качестве одного из основных 
компонентов предлагается использовать показате- 
ли совладающего поведения (копинг-стратегии) 
студентов, как фактора формирования компетент- 
ности [6]. 

В работах [2, 3, 7] показано, что среди методов 
измерения и оценки компонентов компетентности 
можно выделить две большие группы: тестовые 
технологии и методы экспертного оценивания. 

Методы педагогического и психодиагностического 

тестирования и их программная реализация 

Общеизвестный факт, что современные образова- 
тельные технологии широко используют методы как 
педагогического, так и психодиагностического тести- 
рования. Остановимся кратко на этих понятиях. 

Психологический тест - система тестовых зада- 
ний, позволяющих измерить уровень развития 
определенного психологического качества лично- 
сти. Психологическое тестирование - метод 
психологической диагностики, использующий 
стандартизированные тесты, имеющие определен- 
ную шкалу значений. 


Педагогический тест - это кратковременное, 
технически сравнительно просто обставленное ис- 
пытание, проводимое в равных для всех испытуе- 
мых условиях и имеющее вид такого задания, ре- 
шение которого поддается количественному учету 
и служит степени развития к данному моменту из- 
вестной функции у данного испытуемого. Задания 
теста выражаются не в виде вопросов и задач, а 
представляют собой утверждения, которые в зави- 
симости от ответов испытуемых могут превращать- 
ся в истинные или ложные высказывания. Педаго- 
гическое тестирование - это специально разрабо- 
танная научно оптимизированная аттестационная 
процедура, позволяющая максимально объективно 
оценивать уровень достижений человека и выра- 
жать эти возможности количественно. 

В наших исследованиях по проблемам измере- 
ния и оценки компетентности студентов использу- 
ются оба вида тестов (педагогические и психологи- 
ческие), рис. 2. Авторами разработано и внедрено в 
опытную эксплуатацию соответствующее програм- 
мное обеспечение. Особенностью компьютерного 
психодиагностического тестирования является 
необходимость разработки компьютерных версий 
не только для опросников различного вида (рис. 3), 
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Рис. 2. Система тестирования 

но и для так называемых проективных методик 
(например, тест Люшера). Подробно данные во- 
просы рассмотрены в наших работах [2-4] . 

Следует отметить, что для действенного анали- 
за компетентности нужен подход, для которого 
точность, строгость и математический формализм 
не являются чем-то абсолютно необходимым и в 
котором используется методологическая схема, до- 
пускающая нечеткости и частичные истины. Этот 
подход имеет три отличительные черты: 

1. В нем используются «лингвистические» пере- 
менные вместо числовых переменных или в до- 
полнение к ним. 

2. Простые отношения между переменными опи- 
сываются с помощью нечетких высказываний. 

3. Сложные отношения описываются нечеткими 
алгоритмами. 

Методы этого направления позволяют получать 
количественную оценку принимаемых решений по 
их качественным описаниям [8]. Попытки приме- 
нения данного подхода для оценки различных со- 
ставляющих образовательного процесса предпри- 
нимались нами и ранее [2, 3]. В данной статье опи- 
сан алгоритм принятия решения в условиях неопреде- 
ленности, основанный на модели нечеткого оценива- 
ния, преложенный в [9]. 

Формальная модель нечеткого оценивания 
компетентности может быть представлена следую- 
щим образом. Процедуру Р задания степени соот- 
ветствия каждой компоненты ѵ ; - множества V мож- 
но определить формализмом: 

Ѵу,б Ѵ.Р(ѵ р М Е ,І)—>А р 

где М Е - эталонная модель компетентности; I - 
лингвистическая переменная, определяющая шка- 
лу оценивания уровня компетентности; 
/1 ~{(« .//.)). /= 1,.., Р — нечеткое множество воз- 
можных уровней компетентности (здесь Ц - мощ- 
ность множества А/, а - значение компонента; /и - 
степень соответствия определенному уровню). 


Шкала оценивания компетентности задается 
лингвистической переменной І=[І Ь І Ъ . где 
к - число значений I, а I,, 1=\,..,к - значения, ис- 
пользуемые в качестве оценочных категорий при 
построении функций принадлежности. В нашем 
случае к =5 и, соответственно, /“«очень низкий 
уровень», / 2 =«низкий», /,=«средний», /^«высо- 
кий», / 5 =«очень высокий уровень». 

Эталонные функции принадлежности д. зада- 
ются в виде ц={0 [г / 1 1; 0 2 /І ъ ...,О к /І к }, где 0 ІГ , - сте- 
пень соответствия /-ой компоненты компетентно- 
сти оценочной категории /,. На основании полу- 
ченных значений А і и соответствующих функций 
принадлежности д у рассчитывается суммарная 
оценка компетентности в виде функции принад- 
лежности Де, нормированной относительно коли- 
чества компонент компетентности я: 



В блоке принятия решения реализован текже 
алгоритм принятия решения с учетом разнотипно- 
сти исходных данных. На первом этапе проводится 
корреляционный анализ имеющихся признаков. В 
зависимости от типа измерительной шкалы ис- 
пользуются коэффициенты корреляции: Пирсона, 
Спирмена, бисериальный, рангово-бисериальный, 
а также коэффициенты ассоциации и взаимной со- 
пряженности. 

На втором этапе проводится преобразование 
исходных признаков в зависимости от измеритель- 
ной шкалы и формирование матрицы признаков 
на основе корреляционного анализа и полученных 
значений информативности каждого признака. На 
третьем этапе происходит построение матрицы ди- 
агностических коэффициентов и вывод решающих 
правил для принятия решения [3]. 

Разработанный авторами и реализованный в 
виде компьютерной программы алгоритм педаго- 
гического тестирования позволяет не только непо- 
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Проранжируйге приведенные ниже высказывания, т.е. оцените их, как подходящие Вам, от 10 до 1 (чем 
больше подходит, тем выше балл). Повторяться нельзя ! Когда закончите нажмите "ГОТОВО", а затем 
"5 ТОР". Если Вас что-то не устраивает - нажмите "5 ТОР" ( 


Я предпочитаю выполнять работу, требующую самостоятельных решений | і - 

Я умею, без особого труда, выполнять несколько действий одновременно | 0~ 

Я в состоянии спокойно ждать чего-либо продолжительное время (например, своей очереди) | О - 

Я часто нуждаюсь в сочувствии и поддержке окружающих меня людей. I 0~ 

Я работаю неравномерно, рывками. | О - 

Мне трудно длительное время сидеть или стоять на одном месте. | 0~ 

Я легко сдерживаю свои чувства и эмоции в любой ситуации | 0~ 

Я часто становлюсь нервным и тревожным без причин I б 
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Рис. 3. Вид диалогового окна теста на определение типа темперамента 


средственно проводить тестирование и хранить ре- 
зультаты, но и производить оценку качества теста 
при помощи параметрических моделей Раша и 
Бирнбаума [7). 

Алгоритмы экспертного оценивания 

Применение экспертного оценивания позволя- 
ет получить наиболее полную информацию о тех 
компонентах компетентности, для оценки которых 
невозможно использовать количественные показа- 
тели. 

Основными характеристиками при групповом 
экспертном оценивании являются: 

• обобщенное мнение, 

• компетентность экспертов. 

• степень согласованности мнений. 

Авторами была разработана компьютерная си- 
стема для анализа и обработки результатов экс- 
пертного оценивания, схема которой представлена 
на рис. 4. 

Блок проектирования и анализа (модули 1, 2) 
предназначен для исследователя. Включает функ- 
ции: построение опросника для сбора экспертной 
информации (для каждой экспертной группы); за- 
дание алгоритма анализа результатов опроса (ана- 
лизатора); применение стандартных алгоритмов и 
использование статистических методов многомер- 
ного анализа для выявления показателей качества 
образовательного процесса (вычисление эксперт- 
ных оценок). 

Блок сбора экспертной информации (модули 3, 
4) представляет собой отдельный программный мо- 
дуль. Предназначен для пользователя-эксперта. Ос- 


новное назначение - персональный опрос каждого 
эксперта (группы экспертов) и передача информа- 
ции в базу данных для дальнейшей обработки. 

Обработка экспертных оценок производится 
при помощи стандартных алгоритмов экспертного 
оценивания и при помощи многомерного стати- 
стического анализа данных. 

Стандартные алгоритмы теории экспертного 
оценивания включают определение показателя 
обобщенного мнения и степени согласованности мне- 
ний экспертов по каждому вопросу, а также выявле- 
ние экспертов, высказавших оригинальные сужде- 
ния. 

Для реализации обработки экспертной инфор- 
мации методами многомерного статистического 
анализа были выбраны факторный и кластерный 
анализы. Кластерный анализ позволяет группиро- 
вать переменные (показатели) в классы (кластеры) 
на основе единой меры, охватывающей ряд приз- 
наков, вскрывать глубинные внутренние связи 
между различными явлениями, внешне отстоящи- 
ми далеко друг от друга. Одной из основных задач 
факторного анализа является сокращение призна- 
кового пространства, т. е. выделение на основе 
имеющихся показателей (признаков) новых обоб- 
щенных переменных (факторов). 

Структура программного обеспечения 

Разработанный нами в настоящее время прото- 
тип информационной системы оценки и монито- 
ринга компетентности студентов технического вуза 
создан на базе компьютерной системы АОАРТ [10) 
и имеет все компоненты в соответствии с совре- 
менной моделью информационной системы, такие 
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Рис. 4. Общая схема системы экспертного оценивания 


как: сбор, хранение, обработка, передача, выдача, 
защита информации. 

Система спроектирована как реляционная база 
данных, реализованная в СУБД М$ Ассеж с вклю- 
чением программных модулей, написанных на 
языке Ѵікиаі Вамс Сот Арріісаііоп. Имеет дублиро- 
ванную структуру блока компьютерного тестирова- 
ния с возможностью Іпіегпеі -доступа. 

Блок сбора информации включает в себя мето- 
дики опросов, обследований, основанные на со- 
временных информационных технологиях, позво- 
ляющих повысить качество и достоверность при- 
нимаемых решений. База данных информацион- 
ной системы состоит как из основных таблиц, ие- 
рархически связанных между собой различными 
видами явных связей, так и вспомогательных с раз- 
личными типами неявных связей. В структуре име- 
ются попарно связанные таблицы-критерии. База 
данных имеет различные связи на уровне §С)Б-за- 
просов, которые реализуются только во время ор- 
ганизации выборки данных или создания времен- 
ной таблицы. 

Блок обработки информации включает в себя 
разработанные нами информационные техноло- 
гии, основанные на методах экспертного оценива- 
ния и многомерного анализа данных [2, 3]. 

Структура системы имеет блочную унификацию, 
основные преимущества которой заключаются в 
следующем: выход из строя блока не влияет на рабо- 
ту других блоков (кроме выхода из строя блока упра- 
вления); изменение структуры системы не влияет на 
целостность данных; возможна замена устаревших 
программных блоков или их модификация; добавле- 
ние новых блоков без ущерба для основной концеп- 
ции программного комплекса; возможно использо- 
вание отдельных блоков, в частности, блоков ком- 
пьютерного тестирования, автономно. 


Заключение 

1. Разработан программный комплекс для оценки 
компетентности студентов технического вуза на 
основе предложенной авторами модели компе- 
тентности. 

2. Программный комплекс является многофунк- 
циональным с точки зрения решаемых задач. 
На его основе могут быть успешно решены мно- 
гие практические задачи, связанные с оценкой 
компетентности (например, задачи конкурсно- 
го отбора). Измерение и оценку отдельных ком- 
понентов компетентности можно проводить 
как на основе методов экспертного оценива- 
ния, так и на основе тестовых технологий (педа- 
гогическое и психодиагностическое тестирова- 
ние). 

3. Применение на этапе принятия решения алго- 
ритмов нечеткой классификации и, соответ- 
ственно, представление исходной информации 
в виде лингвистических переменных позволяет 
снять вопрос о точности измерения элементов и 
компонентов компетентности и решить про- 
блему нечеткости и неопределенности. 

4. В качестве одного из основных достоинств ком- 
пьютерной системы следует отметить возмож- 
ность создания базы данных, включающей све- 
дения не только об оценке компетентности сту- 
дентов, но и об ее динамике. Данные такого мо- 
ниторинга предоставляют возможность количе- 
ственной оценки общего уровня компетентно- 
сти не только отдельного студента, но всего 
контингента, т. е. возможность проведения си- 
стемных исследований по проблемам компе- 
тентности в техническом вузе. 

Работа частично поддержана грантом РГНФ, проект 

№ 06-06-00582-а. 
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